Bringing GRACE to Recommendation: Fine-Tuning for Sustainable and Accurate Personalization
GRACE：通过可微绿色损失与梯度投影的可持续推荐微调框架
🧭 可持续推荐 · 微调优化 ★ 深度解读
山东大学 · 南洋理工大学 · 阿里巴巴-南洋理工大学全球电子可持续实验室 (ANGEL)
提出 GRACE，用 Gumbel-softmax 可微排序近似与梯度投影在预训练模型上微调，不增推理开销地提升推荐可持续性
📌 工作参考价值（4 点）
- 可微列表级目标：通过 Gumbel-softmax 构建软排列矩阵，直接优化 top-K 离散指标（如健康分、碳足迹），可迁移至电商中对商品质量分、品牌分、GMV 等不可微指标的端到端优化，避免 pairwise 负采样不稳定问题。
- 梯度投影缓解多目标冲突：将辅助目标（绿色）梯度投影到主目标（CTR / 偏好）梯度的正交方向，再加回更新，可应用于搜索推荐中的任何辅助目标（多样性、新颖性、冷启动曝光等），在不显著损害主指标的前提下注入约束。
- 无需重训与推理零开销：仅在预训练模型上微调，不改推理管线，不增加额外排序步骤。适合线上已有大模型快速迭代，例如在 CTR 模型上注入业务绿色标签、内容质量标签等。
- 外部离散标签的直接优化方案：当存在商品级别的离散标注（如认证等级、营养等级）时，无需将其转化为 pairwise 偏好，直接用可微分数近似，梯度更稳定且可控。